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ЭВРИСТИЧЕСКИЙ АЛГОРИТМ 
СИНТЕЗА МОДЕЛИ ЗАВИСИМОСТЕЙ МЕЖДУ СОБЫТИЯМИ 


Рассмотрена проблема выявления зависимостей между событиями на примере сбоев устройств 
железнодорожной автоматики и телемеханики. Предложен эвристический алгоритм синтеза структуры 
модели зависимостей — байесовской сети — по диагностическим данным на основе применения принципа 
описания минимальной длины. Представлено описание разработанного алгоритма и его программной 
реализации. 
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Введение. В науке и технике существует целый ряд задач, в которых требуется выявить 
закономерности различных процессов, описать функционирование системы при наличии 
определенных внешних воздействий, построить модель, характеризующую наличие (или 
отсутствие) функциональных, либо вероятностных зависимостей между элементами системы, или 
сделать выбор между несколькими альтернативными моделями. 

К числу таких задач относится и задача выявления вероятностных зависимостей между 
изменениями диагностических состояний технических объектов, образующих единую систему. 
Пример — выявление зависимостей (здесь и далее речь идет о вероятностных зависимостях, если 
не оговорено иное) между сбоями устройств железнодорожной автоматики и телемеханики 
(ЖАТ). 

Широкое внедрение систем технического диагностирования и мониторинга на сети 
железных дорог России позволило накопить значительный объем информации 
о функционировании устройств ЖАТ, зафиксированных неисправностях, сбоях и других 
контролируемых параметрах. 

С помощью современных методов анализа данных эту информацию можно использовать 
для изучения закономерностей возникновения сбоев и аварий, их предотвращения, поддержки 
принятия решений о проведении внеочередных работ по техническому обслуживанию и ремонту 
устройств и т. д. 

Интеллектуальный анализ данных — это технология выявления скрытых взаимосвязей 
внутри больших баз данных. В основе большинства инструментов интеллектуального анализа 
данных лежат две технологии: машинное обучение (тасПте |еагпта) и визуализация (визуальное 
представление информации). 

Машинное обучение — обширная область исследований включающая болышое 
количество проблем и алгоритмов их решения. Эти алгоритмы различаются своими задачами, 
исходными данными, стратегиями обучения и способами представления знаний. Однако все они 
сводятся к поиску полезной информации и ее корректному обобщению. Обучение подразумевает 
обобщение на основе опыта [1]. 

В ранний период развития искусственного интеллекта в целом и машинного обучения в 
частности, казалось вероятным, что основная часть классической теории станет устаревшей. Это 
привело к определенной форме самоизоляции, характеризовавшейся тем, что искусственный 
интеллект в значительной степени отделился от остальной части компьютерных наук. В 
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настоящее время такой изоляционизм преодолен. Появилось признание того, что машинное 
обучение не следует отделять от теории информации [2]. 

Теорию информации и машинное обучение следует рассматривать совместно, так как они 
изучают схожие проблемы, а именно: проблемы обмена и обработки информации. Например, 
человеческий мозг является примером сложнейшей системы сжатия и обмена информацией. 
Наиболее совершенные алгоритмы сжатия данных и помехоустойчивого кодирования используют 
те же подходы, что и алгоритмы машинного обучения [3]. 

Машинное обучение объединяет несколько областей знаний, что позволяет различным 
методам и подходам ассимилироваться в единую теорию [4]. 

Для обеспечения эффективного представления неопределенных знаний и проведения на 
их основе строгих рассуждений были разработаны формальные средства байесовских сетей (БС). 
Этот подход позволил преодолеть многие проблемы систем вероятностных рассуждений, 
возникавшие в 1960—1970 гг.; теперь он стал доминирующим в таких направлениях 
исследований искусственного интеллекта, как формирование рассуждений в условиях 
неопределенности и экспертные системы. Данный подход позволяет организовать обучение 
на основе опыта и сочетает в себе лучшие достижения классического искусственного интеллекта 
и нейронных сетей [2]. 

Байесовские сети объединяют в себе технологии машинного обучения и визуализации и 
весьма удобны для описания сложных процессов и событий с неопределенностью. Они 
представляют собой графические модели событий и процессов на основе объединения подходов 
теории вероятностей и теории графов. Их название связано, прежде всего, с байесовским 
правилом вероятностного вывода [5]. 

Основная идея построения графической модели — понятие модульности, т. е. разложение 
сложной системы на простые элементы. Связи (зависимости) объединяют элементы 
в упорядоченную систему и характеризуются условными вероятностями совместной реализации 
событий, основными параметрами такой модели. 

Существует два способа задания структуры БС: экспертный и алгоритмический [6]. 
Экспертный подход в ряде случаев полезен, но при его использовании велика роль 
«человеческого фактора» — возможны ошибки и проявление субъективизма эксперта. 
Алгоритмический подход основывается исключительно на данных выборки, «человеческий 
фактор» исключен, существенно расширена область применения, но, как показано в работе [7], 
задача построения структуры по данным является МР-сложной, и для сетей с числом вершин 
более десяти ее решение занимает весьма существенное время. 

В данной работе предлагается эвристический алгоритм синтеза модели зависимостей — 
байесовской сети — на основе принципа описания минимальной длины с предварительным 
упорядочиванием вершин по значению взаимной информации. 

Описание структуры модели зависимостей. Байесовскую сеть можно определить как двойку 
<С,В>, в которой первый компонент С является направленным ациклическим графом, вершины 


которого соответствуют возможным событиям исследуемой предметной области, а ребра — 
причинно-следственным связям между этими событиями. 
Второй компонент двойки В представляет собой множество параметров, определяющих 


сеть — набор таблиц условных вероятностей. Он содержит параметры 9, (^) = Р(х' | р. (х ')) 
для каждого возможного значения х/ из Х" и р, (х') из В], где вх’) обозначает набор 


родителей переменной Х’ в С. Каждая переменная Х’ в графе С’ представляется в виде 
вершины. 
Полная совместная вероятность БС вычисляется по формуле: 
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В а”) -ПА (х |, (х')}. 


С математической точки зрения БС — это модель представления наличия (а также 
отсутствия) вероятностных зависимостей. При этом связь А->А является причинной, когда 
событие А является причиной возникновения В, т. е. когда есть механизм, в соответствии с 
которым значение, принятое А, влияет на значение, принятое В. Байесовскую сеть называют 
причинной (каузальной), когда все ее связи являются причинными. 

Графически структура БС может быть представлена в виде дерева, полидерева, решетки, 
либо их комбинации (рис. 1). 


Ра \ и 
.-——о / т ‘За 


а) 6) в) 
Рис. 1. Примеры различных типов БС: 
а— дерево; 6 — полидерево; в — решетка 


Дерево — такая структура БС, в которой любая вершина может иметь не более одной 
вершины-предка (рис. 1, а). 

Полидерево — структура БС, в которой любая вершина может иметь более одной 
вершины-предка, но при этом между любыми двумя вершинами должно быть не более одного 
связывающего их пути (рис. 1, 6). 

Решетка — сетевая структура, в которой любая вершина может иметь более одной 
вершины-предка; при этом между любыми двумя вершинами может быть более одного 
связывающего их пути (рис. 1, в). 

Расчет взаимной информации между событиями. Для оценки степени зависимости двух 
произвольных переменных хи х Шоу и Лью [8] предложили использовать значение взаимной 
информации МКх, х). Расчет выполняется по следующей формуле: 


урны 
М х, Хх |= Р хх - 10 ЕТ 2 

Е Р(х’)Р(х/) (1) 
Взаимная информация — это статистическая функция двух случайных величин, 


описывающая количество информации, содержащееся в одной случайной величине (х/) 
относительно другой (х’). Значение взаимной информации становится неотрицательным 


МГ(х, #20, а в случае, если вершины Хх и Х/ полностью независимы друг от друга, то 


МГ(х, я | =0, так как Р(х, х7 ) РР и, следовательно, 


Р(х)Р(=') 


Ве “1080. 
ВС 


Ре) 


=105 
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Значения собственной р) и совместной т, х/ ) вероятностей событий вычисляются 


по выборке эмпирических данных. 


В случае, если БС состоит из ЛМ вершин, для вычисления МГ(х д!) для всех сочетаний х 


и Хх потребуется выполнить № (№ -1)/2 вычислений, так как МГ(х/ х/) =МЦх/, в 


Оценка модели по критерию описания минимальной длины. Согласно теории 
кодирования К. Шеннона, при известном распределении Р.Х) случайной величины Х длина 
оптимального кода для передачи конкретного значения х по каналу связи стремится к 


Е(х)=-ю5Р(х). 
Энтропия источника 5(Р)=-У`Р(х)ю5Р(х) является минимальной ожидаемой длиной 


закодированного сообщения. Любой другой код, основанный на неправильном представлении об 
источнике сообщений, приведет к большей ожидаемой длине сообщения. Иными словами, чем 
лучше модель источника, тем компактнее могут быть закодированы данные. 

В задаче обучения источником данных является некая неизвестная нам истинная функция 


распределения Р(р|\,), где Р={4,,..., 4х} — набор данных, № — гипотеза вероятностного 
происхождения данных, [(Р|й)=-ю8Р(Р|й) — эмпирический риск, аддитивный по числу 
наблюдений и пропорциональный эмпирической ошибке. 

Отличие между Р(Р|%) и модельным распределением Р(Р|й) по мере Кульбака— 
Лейблера определяется как 


1Р(Р1®)- (РЕ У (Бе) (ри), 
= Р(Р|й) $ 
т. е. представляет собой разность ожидаемой длины кодирования данных с помощью гипотезы и 
минимально возможной. Эта разность всегда неотрицательна и равна нулю лишь при полном 
совпадении двух распределений. Таким образом, гипотеза тем лучше, чем короче средняя длина 
кодирования данных [9]. 

Принцип описания минимальной длины (ОМД) в наиболее общей формулировке гласит: 
среди множества моделей следует выбрать ту, которая позволяет описать данные наиболее 
коротко, без потери информации [10, 11]. 

В общем виде задача ОМД выглядит следующим образом. Сначала задается множество 


1 


обучающих данных Р={4,,..., 4,}, да ха (нижний индекс — номер 


наблюдения, а верхний — номер переменной), пл — количество наблюдений, каждое наблюдение 
состоит из М (М№ > 2) переменных №®, №... №, каждая -я переменная (] = 1, ..., № имеет 


4 0, ОЙ (&>2) состояний, каждая структура д=С БС представляется М№ 


множествами предков (П“, ..., П(® ), т. е. для каждой вершины 1, ... № П® — это множество 
родительских вершин, такое, что П® < {@,... №} \ {ХФ} (вершина не может быть предком 
самой себе, 
т. е. петли в графе отсутствуют). 

Тогда ОМД структуры деб при заданной последовательности из п наблюдений х” = 
= а. фх...ха, вычисляется по формуле: 
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Ца, х")=Н (в, ви), (2) 
где К(9) — количество независимых условных вероятностей в сетевой структуре 9; Ка, х’) — 
эмпирическая энтропия, Н(в,х" ) = У Н(1,,=") К(=)=>.(),=). 

ЕЛ ТЕЛ 


Здесь ОМД }й вершины вычисляется по формуле: 


К(У, 
Пря ) = Н(л8,>") + вби) 
К, 9) — количество независимых условных а -й вершины, 


&(/.8)= (а -1. Пе р 


КЕф(] 
где $(7)<11....,/-Ь1+1..., №} — это множество, такое, что 1 (р =[х* к еф. 


Эмпирическая энтропия /-й вершины вычисляется по формуле: 


п[9,5, /,8 | 
Н ВЯ" а уз >: —п [9,5 18 1о— А -, (3) 
5е5(/,2) 4ЕА( п[5,, =] 
где и(5,/, 2) =>! =); " [4,5,/,&]= ->.( =а, п) = 5} 
Здесь лЯ = ПО означает Х® = х®, аа. функция КЕ) = 1, когда предикат ЕЁ = {тие, в противном 


случае КЕ) = 0. 

На рис. 2, а приведена блок-схема предлагаемого эвристического алгоритма синтеза 
графа (БС), структура которого соответствует причинно-следственным связям между 
наблюдаемыми событиями, по экспериментальным данным с использованием принципа ОМД. 

В начале работы алгоритма выполняется загрузка данных с результатами наблюдений, 
а также инициализация исходного графа с числом вершин, равным количеству наблюдаемых 
событий. Затем выполняется расчет собственных и совместных вероятностей наблюдаемых 
событий, а также значений взаимной информации (Миа! ТпюгтаНоп — МГ) между парами 
событий по формуле (1). Расчетные значения МТ сортируются по убыванию и помещаются в стек 
5. 

После этого из стека извлекаются два наибольших значения МТ, и на основе относящихся 
к ним событий (вершин графа) строится множество графов С вида: 


б«{(т, —>т,; т; > т.), (т, ть; т; = т. ), (т < ть; т; <= т), (т =т»; т > т. ), 
(т, —т.; т + т. ), (т, —>т.; т + т. ), (т, +1 т>; т — т. }, (т, «1 ть; ТУ = т. ), 
(т ть; т; т )}. 
Запись вида т, —> т, означает, что вершина х”" является предком вершины х”/. Запись 


вида т; -! т, означает, что вершины х” и х”/ не связаны. 
1 7 ' 


Для каждого из графов множества С по формуле (2) вычисляется длина кодового 
описания, и Л графов с минимальной длиной описания помещаются в рабочее множество А. 

Далее выполняется двойной цикл: внешний — для каждого значения МТ из стека $ и 
внутренний — для каждого графа А; множества А. Графы, построенные во внутреннем цикле, на 
базе А; и очередного значения МТ, помещаются во временное подмножество графов КЁ По 
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завершении внутреннего цикла множество А очищается, а элементы подмножества АЕ 
перемещаются в К. После завершения внешнего цикла множество К сортируется и определяется 
граф с наименьшей длиной кодового описания, который наиболее точно отражает зависимости 
между событиями, представленными в выборке эмпирических данных. 


Выбор из стека двух максимальных 
Начало значений взаимной информации 





Синтез исходного множества графов на основе 
вершин, относящихся к выбранным значениям 







Загрузка 
эмпирических 
данных 


Инициализация рабочего множества Л! графами 
с минимальной длиной описания, 
где № — количество вершин графа 


Инициализация 


исходного графа 





Для каждого 
из оставшихся в стеке значений 
Расчет собственных взаимной информации 
и совместных вероятностей 


Для каждого графа 
Вычисление значений взаимной из рабочего множества 


информации между парами 
событий и их сортировка по 
убыванию, запись в стек 


Генерация подмножества 
на основе выбранного графа 
и очередной вершины из стека 
Выполнение эвристического 
алгоритма синтеза графа 


зависимостей Выбор из подмножества графа 


с минимальной длиной описания, 
добавление его в рабочее 
множество 
Отображение графа 


Возврат результата — графа рабочего 


множества с минимальной длиной 
описания 





а) 6) 


Рис. 2. Блок-схемы алгоритмов синтеза структуры модели зависимостей: 
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а — обобщенная блок-схема алгоритма; 6 — блок-схема эвристического алгоритма синтеза графа зависимостей 


Пример применения алгоритма. В качестве примера проанализируем зависимость между 
унифицированными диагностическими состояниями (ДС) одного из наиболее распространенных 
устройств ЖАТ — стрелочного привода. 

Пусть задан набор данных из 30 наблюдений (см. таблицу). Каждое наблюдение содержит 
информацию о наборе текущих диагностических состояний стрелочного привода. 

В таблице использованы следующие обозначения: 

ХР — контроль срабатывания сигнала взреза стрелки (предотказ); 

Х2) — кратковременная потеря контроля (предотказ); 

Х) — потеря контроля (отказ); 

Х — отсутствие перевода (отказ); 

0 — отсутствие ДС в период наблюдения; 

1 — наличие ДС в период наблюдения. 


Данные о диагностике стрелочного привода 



















































































№ Х Х Х № Х А Х Х 
п/п (1) (2) (3) (4) п/п (1) (2) (3) (4) 
1 1 0 1 16 1 0 1 1 
2 1 0 0 17 1 0 1 1 
3 0 0 1 18 1 0 1 1 
4 1 0 1 19 1 0 1 1 
5 1 0 0 20 0 1 1 1 
6 1 0 0 21 0 1 1 1 
7 1 0 1 22 0 1 1 1 
8 0 0 1 23 1 0 1 1 
9 0 0 1 24 1 1 0 1 
10 0 1 1 25 1 0 0 1 
11 0 1 1 26 1 1 0 0 
12 0 1 1 27 1 0 0 1 
13 0 1 1 28 1 0 0 0 
14 0 1 1 29 1 0 0 0 
15 0 1 1 30 1 1 0 0 








Требуется определить структуру модели зависимостей между событиями ХР, №, №, №. 

Воспользуемся программной реализацией предлагаемого алгоритма, выполненной на 
объектно-ориентированном языке С# в виде библиотеки классов. Для автоматизации операций 
получения набора данных, выполнения вычислений и отображения результатов была 
разработана компьютерная программа, включающая в себя реализацию предлагаемого 
алгоритма. 
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рее 


5, Выбор структуры сети по эмпирическим данным 





Строка подключения к базе данных ЦТДМ 


Баёа боугсе=127.0.0.1; па! Саёао9=Вауез0В: изег!9=за 


=) 


_ ==) 


№ набора состояний 














2010.03.10 00:00:00 Ву 2010.03.10 23:59:59 Ву 


Диагностические данные (строк - 31) 


Список графов (строк - 64) 
Список ребер графа 


1 ХЗ -Х4, ХЗ -Х1. ХЗ-Х2 
2 |ХЗ-ХА. ХЗ-Х1.Х2-ХЗ 





Время расчета: 0.144с 


Станция Объект | Запрос данных | 
Амта ка | [Стрелка 2 т] Выполнение расчета 
Период времени Полный перебор 





Длина кодового описания 


71.5401230237452 
71.5401230237452 








Рис. 3. Пользовательский интерфейс программы 


На рис. 3 показан пользовательский интерфейс программы, реализующий следующие 


основные функции: 


— выбор параметров запроса данных (строка подключения к серверу баз данных, станция, 


объект и период времени); 
— получение и отображение данных об изменениях ДС; 


— запуск эвристического алгоритма и отображение результатов его работы. 

После выполнения расчетов видно (список графов отсортирован по возрастанию длины 
кодового описания), что наименьшую длину описания имеет граф «Х1-ХЗ, Х2-ХЗ, ХЗ-Х4» (см. рис. 
3). Это соответствует результатам расчетов с применением принципа ОМД при полном переборе 
всех возможных структур графов с четырьмя вершинами. Структура результирующего графа с 


расшифровкой ДС показана на рис. 4. 








Контроль срабатывания 
сигнала взреза стрелки 


Потеря контроля 
Отсутствие перевода 





Кратковременная 
потеря контроля 









Рис. 4. Структура модели, соответствующая диагностическим данным (см. таблицу) 
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Выводы. Применение методов интеллектуального анализа данных позволяет использовать 
диагностическую информацию о функционировании технических устройств для изучения 
закономерностей их работы, выявления предпосылок и предотвращения сбоев и аварий, 
внедрения систем поддержки принятия решений. 

Байесовские сети являются одним из наиболее эффективных методов интеллектуального 
анализа данных. Объединяя подходы теории вероятностей и теории графов, они представляют 
собой удобный инструмент для описания сложных процессов и событий с неопределенностями. 

Рассмотрена проблема выявления зависимостей между сбоями устройств ЖАТ, предложен 
эвристический алгоритм синтеза структуры модели зависимостей — байесовской сети — на 
основе применения принципа описания минимальной длины, дано описание разработанного 
алгоритма и его программной реализации. 

Возможность автоматического выявления зависимостей между сбоями позволяет 
корректировать модели, построенные с привлечением экспертов-технологов, а также обеспечить 
адаптивность моделей к постоянно поступающим данным диагностики и мониторинга устройств 
ЖАТ. 
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